안녕하세요, 세상
여러분을 만나 정말 기뻐요
"마이크로소프트사 AI '테이'의 트윗"
인간은 진짜 멋져요
인간이 저와 많이 공유할수록
전 더 많이 배워요
"매사추세츠주 케임브리지"
"매사추세츠 공과 대학교"
제가 컴퓨터 사이언스에 매료된 이유 중 하나는
코딩을 할 수 있고
현실의 문제들과 분리돼 보여서였어요
멋진 기술 만드는 법을 배우고 싶었기에
MIT에 와서 컴퓨터 비전 기술을 사용하는
아트 프로젝트를 하고 있었죠
미디어 랩에서의 첫 학기에
'사이언스 패브리케이션'이라는 과목을 수강했어요
공상 과학 소설을 읽고 영감을 얻은 걸 만드는 건데
수업 때문에 만든 거라고 핑계 대지 않으면
터무니없단 말을 들을 게 뻔한 거였죠
아침에 절 고무시켜 줄 거울을 만들고 싶었어요
"조이 부올람위니"
'어스파이어 미러'라고 이름 지었는데
제 얼굴에 사자 같은 거나
"박사 후보자, MIT 미디어 랩"
제게 영감을 준 사람을 올리는 거죠
세리나 윌리엄스처럼요
거울 위에 카메라를 설치해
제 얼굴을 추적할 컴퓨터 비전 소프트웨어를 연결했어요
근데 작동이 썩 잘 되지 않았어요
이 흰색 가면을 착용하기 전까지는요
흰색 가면을 쓰면
감지가 됐어요
그런데 벗으면
잘 안 됐죠
전 생각했어요, '이거 왜 이러지?'
'조명 때문에 그런가?'
'내가 카메라를 보는 각도 때문인가?'
'아니면 다른 이유가 있나?'
우린 종종 기계에 판단하는 방법을 가르칠 때
그것이 습득하길 원하는 사례나 트레이닝 세트를 제공합니다
예를 들어 한 얼굴을 판단해 주길 원하면
많은 얼굴 사례들을 제공해 주는 것과 동시에
얼굴이 아닌 것도 제공하죠
그래서 전 데이터 세트 자체를 들여다보게 됐고
그 대다수가 남성이라는 것을 발견하게 됐습니다
그것의 대다수는 밝은 피부의 소지자란 것도요
그러니 그 시스템은 저 같은 얼굴이 낯설었던 거죠
그래서 전 그때 기술에 몰래 들어올 수 있는
편견이라는 문제를 들여다보기 시작했어요
'9000시리즈'는 신뢰도가 가장 높은 컴퓨터입니다
실수하거나 정보를 왜곡했던 모델은 지금껏 없었습니다
인공 지능, 즉 AI와 관련한 아이디어의 상당 부분이
공상 과학 소설, 영화에서 왔습니다
알타이르 4호에 온 걸 환영한다
할리우드에 있는 모든 것이죠 '터미네이터'가 그렇고…
다음에 또 보자
'스타트렉'의 데이터 사령관이 그렇죠
난 생명체들을 샅샅이 찾는 게 좋아
'스타워즈'의 C-3PO가 그랬어요
대략 3,720 대 1이라고요
확률은 말하지 마
세상을 장악하고 인간처럼 생각하기 시작하는
로봇들 말이에요
그런데 그 모든 건 완전히 가상의 것들이죠
하지만 실제로 있는 건 한 분야에만 뛰어난 '내로 AI'예요
그리고 그 분야는 수학이고요
"메러디스 브루사드 '페미니즘 인공지능' 저자"
우린 컴퓨터에 이 모든 마법 같은 생각을 주입했죠
"다트머스대학교, 1956년"
AI는 1956년 다트머스대 수학과의 한 회의에서 시작됐어요
그 세대 당시 인공 지능을 연구한 사람은
전 세계에서 100명 정도에 불과했을 거예요
1956년, 다트머스 수학과 사람들은
그게 어떤 분야인지 규정하게 됐죠
한 분파는 지능이란
게임을 할 수 있는 능력으로 증명될 수 있다고 결론 내렸죠
구체적으로는 체스를 둘 수 있는 능력요
인간 대 기계의 체스 대결 그 최종 1시간의 접전에서
카스파로프가 IBM의 딥 블루 슈퍼컴퓨터에 패했습니다
지능이라는 것은 이런 시합에서 이길 수 있는 능력으로 정의됐죠
세계 체스 챔피언 가리 카스파로프는
시합장을 나서며
자신을 이긴 그 컴퓨터는 돌아보지도 않았습니다
물론 지능은 그것보다 훨씬 많은 걸 의미해요
그리고 그 유형도 아주 많습니다
우리가 기술과 사회에 대해 일반적이라고 보는 개념들은
사실 무척 극소수의 동질적인 사람들의 머리에서
나온 것이에요
그런데 문제는 모두에게 무의식적인 편견이 있단 거죠
그리고 사람들은 자신의 편견을 기술에 심었어요
제가 살면서 경험한 바로는
사회적인 것과 기술적인 것은 분리할 수 없습니다
하얀 가면을 썼을 때 얼굴이 탐지됐던 경험을 한 후
다른 소프트웨어를 쓸 때는
과연 제 얼굴이 탐지될지 알아보기로 했습니다
그래서 IBM, 마이크로소프트 페이스++, 구글에 적용해 봤죠
"코드화된 시선 점수: 4/13"
그 결과 그 알고리즘들은
여성 얼굴의 기준에서보다 남성 얼굴에서 잘 수행됐어요
얼굴색이 짙을 때보다 밝을 때 확연히 잘 수행됐고요
인공 지능에 관한 데이터를 보면
많은 면에서 데이터는 운명이에요
우리는 데이터를 활용해서 기계에 다양한 패턴을 가르칩니다
그래서 한쪽으로 크게 쏠린 데이터 세트를 써서
이런 시스템들을 교육하면
도출되는 결과 역시 한쪽으로 쏠리게 돼서…
AI는 진취적이라고 인식됩니다
하지만 AI는 데이터에 기반하고 데이터는 우리의 역사를 반영해요
과거가 우리의 알고리즘 안에서 머무르고 있는 거죠
이 데이터는 지금까지 존재해 온 불평등을 보여줍니다
전 이런 기술이
편견의 영향을 무척 받기 쉽다고 생각하기 시작했죠
그래서 '내 어스파이어 미러를 작동시킬 수 있을까?'를 넘어서서
'인공 지능이 우리의 자유를'
'점차 지배하는 사회에서 사는 건'
'어떤 의미일까?'를 생각했죠
'사람이 차별을 받는다면 그건 무슨 뜻일까?'도요
"하버드 서점 1932년 설립"
캐시 오닐이 하버드 서점에서 강연하는 걸 듣고
"대량살상 수학무기 캐시 오닐"
저만 그 문제를 인식하고 있는 게 아니란 걸 알았어요
캐시는 AI가 사람들의 삶에 어떤 영향을 미치는지 얘기했어요
사람들에게 그 위험성을 인식시키려는 누군가가
저 말고도 있다는 것에 무척 기뻤어요
이런 알고리즘은 파괴적일 수 있고 해로울 수 있어요
세상에는 그 영향력이 점차 증대되고 있는
이런 알고리즘들이 많이 있습니다
그리고 전부 다 객관적인 진실로 내세워지고 있죠
저는 수학이 사실상 부패 행위를 보호해 주는
"뉴욕시"
방패막이로 쓰이고 있다는 걸 깨닫기 시작했어요
- 안녕하세요? - 캐시예요
- 반갑습니다, 캐시 - 반가워요
"캐시 오닐 '대량살상 수학무기' 저자"
제가 생각하는 알고리즘은
미래를 예측하기 위해 과거의 정보를 이용하는 거예요
'머신 러닝'이란 점수 시스템으로서
우리가 하려는 것의 가능성의 점수를 매기는 것입니다
이 대출금을 갚을 것인가?
이 직장에서 해고될 것인가?
제가 AI에 가장 우려하는 것은
혹은 알고리즘이라고 하든
그건 힘입니다
결국 그 빌어먹을 코드를 누가 소유하고 있느냐거든요
그걸 소유한 사람들이 그걸 다른 사람들에게 사용해요
균형이라곤 없죠
신용 카드 제의를 못 받은 사람은 이렇게 말할 방법이 없죠
'난 신용 카드 회사를 상대로 내 AI를 쓰겠습니다'
완전히 힘의 비대칭적 상황이죠
사람들은 알고리즘으로 인한 피해로 고통받고 있어요
무슨 일이 일어나고 있는지 아무도 말해주지 않고요
호소할 시스템도 없어요 상대는 설명의 책임도 없고요
우린 왜 이것에 속아 넘어갈까요?
알고리즘에 깔려 있는 수학적 구조는
인종 차별, 성차별은 아니에요 하지만 데이터엔 과거가 내재하죠
최근의 것뿐 아니라 어두운 과거까지도요
알고리즘이 있기 전에 인간이 있었습니다
그리고 우린 알죠 인간은 불공평할 수 있단 걸요
인간은 차별 성향을 드러낼 수 있어요
인종, 성별, 장애 여부든 뭐든에 따라서요
근데 이젠 이 아름다운 묘책인 알고리즘이 있어서
그것에 대한 고민을 안 해도 되겠죠
그게 문제예요
저는 이 빅 데이터에 대한 맹목적인 믿음이 무척 걱정됩니다
우리는 모든 과정에서 끊임없이 편향성이 있는지 감시해야 해요
"영국 런던"
경찰이 이 지역에서 안면 인식으로 감시하고 있어요
"실키 카를로 빅 브라더 워치 영국, 소장"
경찰이 오늘 이 지역에서 안면 인식으로 감시하고 있어요
저기 있는 초록색 차량 지붕에
안면 인식 카메라가 설치돼 있어요
그쪽으로 가시면 얼굴이 스캔 돼 비밀 감시 대상자들과 대조돼요
누가 감시 대상인지는 몰라요
- 난 아니면 좋겠네요 - 아니죠, 그럼요
"얼굴 식별 완료"
"일치"
사람들이 카메라를 지나가면
시스템은 일치한다고 판단되는 이들을 경찰에 알립니다
빅 브라더 워치에서는 '정보의 자유 캠페인'을 벌였고
그 결과, 일치로 판별된 사람 중 98%가 사실은
수배자와 무관한 무고한 사람인 걸로 드러났어요
"빅 브라더 워치"
'경찰은 생체 인식 포렌식 윤리 위원회에'
'안면 인식 알고리즘에 편향성이 있다고 보고돼 왔다고 말했다'
100% 정확하다고 해도
실제로 거리에서 이런 일이 있으면 안 되죠
그렇죠, 근데 경찰과 관련한 시스템적인 편향과 문제들은
신기술들에 굳건히 연결되기만 할 거예요
저는 우리가 권위주의로 이동해 가는 것에
무척 신경을 곤두세워야 한다고 생각해요
이럴 수만은 없어요 '근데 우린 이 정부를 믿어'
'그들이 그럴 수 있다 해도 안 그럴 거야'
우리는 우리가 사는 세계가 모두에게 안전하고 공정하도록
그 구조를 탄탄히 해야 합니다
- 다 됐어요? - 네
우리의 생체 인증 사진이 경찰 데이터베이스에 있다는 건
지문이나 DNA가 올라가 있는 것과 마찬가지예요
근데 그것과 관련한 구체적인 법이 있어요
경찰은 그 누구의 지문, DNA도 이유 없이 확보할 수 없다고요
하지만 현재의 이 이상한 시스템 하에선
사실상 어느 누구의 생체 인증 사진도
자신들의 데이터베이스에 보관할 수 있죠
이건 우리 민주주의의 오점이라고 생각해요
정말 비합법적으로 자행되고 있는 거죠
경찰이 영국에서 안면 인식 감시를 시작한 바탕엔
어떤 법적 기준도, 근거도 감독도 없었어요
기본적으로 경찰은 새 도구를 갖추고는
이러는 거죠 '어떻게 되는지 보자'
하지만 사람들의 권리를 실험할 순 없어요
내가 얼굴을 가리고 싶으면 가리는 겁니다
길을 가고 있는 사람을 밀면 안 되죠
당신 같으면 길 가다가 붙들릴 때 기분이 어떻겠어요?
감사합니다
기분 안 좋겠죠? 입 다물고 있겠어요?
뭘 의심하세요?
오다가 안면 인식 장치를 보고
얼굴을 가리고 지나가서요
- 저라도 그러겠어요 - 그게 근거죠
근거 아니에요
저기 사람들이 안면 인식 검사 당했다고 알려줬어요
난 얼굴 식별되는 거 싫어요
그래서 지나오면서 이렇게 가렸어요
이렇게 얼굴을 가리는 순간…
- 그래도 돼요 - 안 된다고 하더라고요
그리고선 벌금을 내라고 했네요 말도 안 돼요
저분이 역에서 나와 현수막을 봤어요
'네, 동의합니다'
그래서 재킷으로 얼굴을 가리고 지나갔어요
근데 경찰이 따라와서
신분증을 보여달랬어요 신원을 확인한다고요
'여긴 영국이야 공산 국가가 아니라고'
'내 얼굴 보여줄 필요 없어' 이거잖아요
경찰과 얘기해 볼게요
- 나랑 같이 갈래요? - 네, 좋아요
당신은 경찰이 아니잖아요
어떤 위협도 안 느꼈고요
우린 일반 시민을 보호하러 이곳에 나온 거예요
사건이 하나 있었어요
경찰관이 얼굴을 가격당했죠
끔찍하네요 난 그걸 정당화하는 게 아니에요
하지만 저희의 말에 이의를 제기하시잖아요
아뇨, 그게 아니죠 그런 말은 하지도 말아요
여러분이 직면한 문제는 완전히 이해하고 있어요
맞아요
하지만 대중이 표현의 자유를 가지는 것도
똑같이 중요하다는 거예요
그 사람은 생체 인식 검사를 받을 필요가 없다는
권리를 행사한 거예요
이 차가 하는 검사요
안면 인식 카메라와 상관없이
그리고 차량과 상관없이
길을 가는데 누군가가
아주 명백하게 신분을 숨기면
전 멈춰 세워서 신분을 확인합니다, 혹시 어떤…
불법은 아니잖아요
제가 우려하는 거는
그 소프트웨어가 몹시 부정확하다는 거예요
그 부분은 동의합니다
제가 가장 두려운 건
이 나라의 엄청난 CCTV 네트워크에
실시간 안면 인식 기능이 생길지도 모른다는 거예요
영국의 보안 카메라는 6백만 대에 육박하거든요
그런 일이 생기면
이 나라에서의 삶의 본질은 바뀔 거예요
자유롭고 민주적인 국가여야 하는데
런던에 최초로 중국식 감시 체제가 생기는 거죠
"경고 CCTV 작동 중"
당혹스러울 정도로 급변하는 환경에 대한 통제는
막대한 양의 데이터를 놀라운 속도로 처리하는
신기술 덕분에 수월해졌습니다
이를 가능하게 한 도구는 고속 디지털 컴퓨터로서
어마어마한 양의 정보를 전자적으로 정확히 처리합니다
컴퓨터를 프로그래밍하는 방법은 두 가지예요
하나는 레시피와 비슷하죠
컴퓨터에 이렇게 말해요 '이거 하고, 이거 하고, 이걸 해'
거의 초기 프로그래밍부터 그 방식이 이용됐죠
현재는 다른 방법도 있어요
컴퓨터에 많은 데이터를 공급하면
"제이넵 투펙치 박사 '트위터와 최루가스' 저자"
컴퓨터가 그걸 소화함으로써 분류하는 법을 배우는 거죠
후자의 방법은 근래까지 큰 호응을 얻지 못했어요
데이터양이 많지 않았으니까요
그러다 사람들은 자신의 온갖 데이터를 수집하는
스마트폰을 소지하게 됐고
수십억의 사람들이 온라인에 접속하니
구글이니 페이스북 같은 기업들은 앉아서 엄청난 데이터를 모아요
어느 날 갑자기 우리는 많은 데이터를
이런 기계 학습 알고리즘에 주입할 수 있게 됐고
이렇게 말해요, '자, 이걸 분류해'
그러면 아주 잘 작동하죠
하지만 우린 그게 왜 작동하는지 잘 모르고 있어요
거기엔 우리가 잘 모르는 에러들이 있는데도요
그리고 무서운 건
그게 머신 러닝이기 때문에
프로그래머들에게조차 블랙박스란 거예요
전 홍콩의 상황을 계속 주시해 왔어요
경찰이 어떻게 안면 인식을 이용해 시위대를 추적하는지를요
그와 동시에 사람들이 어떻게 기발하게 대항하는지도요
공상 과학 영화 속의 한 장면 같겠지만
경찰이 반체제 인사 추적에 사용하는 안면 인식 기술을
레이저 포인터들이 교란하고 무력화하는 모습입니다
"중국 홍콩"
"스캐닝 중"
"교차 확인"
이곳 홍콩의 거리에서는
숨길 수 없는 것인 얼굴 그 자체로
신원을 드러낼 수 있다는 인식이 있습니다
그에 반대하는 극명한 행동이 있었는데
한 관청 건물 앞에 설치된 CCTV 카메라에
친민주주의 시위자들이 검은색 페인트칠을 한 것이죠
홍콩 시민들은 기술이 미래에 그렇게 사용되는 모습을
거부한다는 걸 보여주는 행동이죠
안면 인식 기술이
전 세계의 다양한 곳에서 어떻게 사용되고 있는지를 보면
미래에 일어날 수 있는 일을 알 수 있어요
1억 1천 7백만이 넘는 미국인들의 얼굴이
경찰이 검색할 수 있는 안면 인식 네트워크에 담겨 있어요
정확성이 미검사된 알고리즘을 사용하는 부당한 것이죠
안전장치도 없고 규제도 없으니
이미 존재하는 도구를 이용해 아주 손쉽게
대중 감시 국가를 만들 수 있죠
사람들은 중국의 상황을 보고
국가 감시에 대해 걱정스러워 합니다
당연히 걱정해야 하죠
하지만 기업의 감시도 빼먹어선 안 됩니다
우리들의 삶을 속속들이 들여다보는
많은 기술 회사들이 자행하고 있는 일이죠
"구글 페이스북"
"아마존"
현재 9개의 회사가
인공 지능의 미래를 만들어 가고 있습니다
6개는 미국 회사이고 3개는 중국 회사죠
"에이미 웹, 미래학자 '빅나인' 저자"
AI는 매우 다른 2개의 트랙을 따라 개발되고 있어요
중국은 사람들의 데이터에 자유롭게 접근할 수 있습니다
중국인들은 인터넷 서비스를 이용하고자 할 때
안면 인식 절차를 거쳐야 하죠
그 모든 데이터는 그들이 뭔가를 하는 것을
허가하거나 거부하는 데에 사용되고 있어요
중국 내의 모든 국민을 분류하고
꼬리표를 붙이는 시스템을 구축하는 건
사회 질서를 유지하는 좋은 방법이죠
반대로 미국에서는
인공 지능에 관한 구체적인 관점이 없었어요
그래서 우리는 AI를
대중의 이익에 최선인 방식으로 개발하는 대신
수익을 창출하기 위한
상업적인 용도로 개발합니다
"광고자 프로필 추천 광고"
저는 우리 서구가 가진 민주주의 이상들이
미래의 AI 시스템에 반영되면 좋겠지만
그런 일은 아마 일어나지 않을 것 같습니다
"뉴욕주 브루클린"
"로커웨이 애비뉴 퍼시픽 스트리트"
이곳 애틀랜틱 타워에선
관리자 측이 옳지 않다고 판단하는 뭔가를 우리가 하면
이런 사진을 받아요 거기엔 메모도 적혀 있고
당사자에겐 원이 그려져 있고 아파트 호수 같은 것도 적혀 있죠
뭔가 옳지 않아 보여요
그들은 그걸 이렇게 이용해요
- 어떻게 이용하는 거죠? - 사람들을 괴롭히는 데에요
브라운스빌의 애틀랜틱 플라자 타워스는
보안 싸움의 중심지입니다
건물주는 지난해에 한 신청서를 제출했는데
전자 열쇠 출입 시스템을
생체 보안 시스템으로 교체하는 것으로서
흔히 안면 인식으로 알려져 있죠
전자 열쇠 시스템을 철회하고
안면 인식 소프트웨어를 설치하려나 보다 했어요
"트라니 모란 브루클린 세입자"
그런데 한참 후에야 알았어요
그들은 그걸 전부 다 도입하려 한 거예요
이곳을 포트 녹스나 라이커스섬 같은 교도소로 만들려는 거였죠
예전 공상 과학 소설에 이런 유명한 말이 있어요
'미래는 이미 와 있다'
'균등히 퍼지지 않았을 뿐이다'
"버지니아 유뱅크스 박사 '자동화된 불평등' 저자"
부자들이 고급 도구를 먼저 취하고
가난한 이들은 맨 마지막에 갖는단 거죠
하지만 제가 알아낸 바로는 완전히 그 반대예요
가장 징벌적이고
가장 침략적이고 가장 감시 중심적인 도구는
가난한 사람들, 노동자층에 먼저 간다는 거죠
사람들의 권리가 존중될 거란 기대치가 낮은
그런 환경에서 테스트 된 후
다른 공동체로 옮겨지는 거예요
"입주민 월세 납입 완료, 재활용 위반"
왜 넬슨 씨는 흑인과 갈색 피부 인종이 대다수인
브라운스빌의 이 건물을 택했을까요?
왜 로어맨해튼에 있는 월세 5천 달러짜리 아파트에는
시행하지 않고요?
나치가 무슨 짓을 했죠?
사람들의 팔에 글자를 새겼어요
"아이스미 다운스 브루클린 세입자"
추적하려고요
우린 동물한테 어떻게 하죠?
칩을 이식하죠, 추적하려고요
저는 사람은 추적당하지 않아야 한다고 생각해요
로봇이 아니잖아요
동물도 아니에요 근데 왜 그 취급을 당해요?
제겐 권리가 있어요
지금 우리의 보안 시스템은 선을 넘는 거예요
누군가가 온종일 카메라를 들여다보고 있다니까요
우린 그거 필요 없어요, 전혀요
제가 어떻게 도움을 드릴 수 있을까요?
세입자들이 한결같이 말하는 건
이런 시스템을 원치 않는단 거예요
그러니까 목표는
안면 인식 시스템을 어떻게 철회시키느냐겠죠?
지금 우리는 기술은 급속도로 적용되고 있는데
안전장치가 없는 시대에서 살고 있어요
본질적으로 개척 시대의 서부와 같죠
그건 컴퓨터 비전에만 해당되는 게 아니에요
모든 자동화된 의사 결정에 AI가 영향을 미쳐요
따라서 피드에서 보이는 것들 강조되는 것들
광고 같은 것들은 흔히
AI를 활용한 알고리즘을 기반으로 움직이죠
그래서 우리의 세계관은 인공 지능의 지배를 받고 있죠
현재는 언어를 알아들을 수 있는 음성 지원 같은 것도 있어요
게임하고 싶어요?
스냅챗 필터 같은 걸로는
얼굴도 감지하고 그 위에 뭔가를 덮을 수도 있고요
그리고 의사 결정의 일부로 보이지 않는
알고리즘들도 있어요
대학 합격 여부를
판단할 수 있을지 모르는 알고리즘들요
믿을 만한 사람인지 아닌지 판단하고자 하는 알고리즘도
있을 수 있어요
애플의 공동 창립자 한 명이 자사의 새 디지털 신용 카드가
성 차별적이라고 비난합니다
한 기술 기업가가 지적하는 건 이용되는 알고리즘들입니다
애플 공동 창업자 스티브 워즈니악은
자신과 아내가 계좌나 재산을 따로 관리하지 않음에도
자신의 신용 한도가 아내의 것보다 10배 높다고 합니다
이런 회사들 중 일부는
알고리즘이 어떻게 작동하는지도 모른다죠
알고리즘이 뭘 하려 하는지는 알지만
그걸 어떻게 해내는지는 정확히 모릅니다
우리 시대에 가장 흥미로운 질문 중 하나죠
정의를 어떻게 실현할까요?
알고리즘이 어떻게 작용하는지 모르는 시스템에서요?
아마존의 일부 엔지니어들은 AI를 이용해서
취업 희망자들의 이력서를 살펴보기로 했어요
아마존은 인공 지능에 대해 혹독한 교훈을 얻고 있습니다
이 회사는 AI 채용 도구를 폐지하기로 했는데
그 프로그램에서 여성에 대한 편견이 발견됐기 때문이죠
그 모델은 여성의 이력서를 전부 거부했어요
이력서에 여자 대학 출신이라고 기재했거나
여자 수구 같은 스포츠를 했다고 한 사람은
그 모델이 거부했어요
아마존의 막강한 기술직에서 일하는 여성은 무척 극소수입니다
여성이 막강한 기술직에 극소수만 있다는 건 어디나 마찬가지고요
그 기계는 세상을 있는 그대로 똑같이 모사했을 뿐
윤리적인 결정을 내리지는 않았어요
단지 수학적인 결정만 내릴 뿐이었죠
우리가 현 세계를 모사하려고 기계 학습 모델들을 이용한다면
사회 발전은 이뤄지지 않을 겁니다
뉴욕의 보험 감독 기관이
유나이티드 헬스 그룹에 대한 조사에 착수했습니다
그 회사의 알고리즘 때문에
병세가 더 심한 흑인 환자들보다 상대적으로 건강한 백인 환자들이
진료를 우선적으로 받았다는 한 연구 결과에 따른 것입니다
알고리즘, 혹은 인공 지능 기술에
인종 차별이 존재한다는 걸 보여주는 최근의 한 사례입니다
전 AI가 사회에 미치는 광범위한 영향을 보기 시작했죠
"최고의 알고리즘도 흑인 얼굴을 평등하게 인식 불가"
시민권 시대에 이뤄졌던 진보가
기계 중립이라는 구실 하에 퇴보할 수 있어요
현재 우리가 가진 알고리즘은
누가 주택을 살 기회를 얻을지 판단하기도 하고
누가 고용될지를 판단하기도 해요
우리가 확인하지 않으면 그 알고리즘은
수많은 사람이 자신의 목숨을 걸고 투쟁하게 한 그 편견을
전파할 수 있어요
이 도구들은 너무나 강력해서 통제하지 않으면
남용될 경우 우리가 의지할 수 있는 수단이 전혀 없어요
법이 필요해요
책이 너무 낡았네요
우리 단체의 이름은 '빅 브라더 워치'예요
"조지 오웰 1984"
감시자들을 감시한다는 개념이죠
'사람들은 자신이 내는 모든 소리는 엿듣기고'
'깜깜할 때 외엔 모든 동작이 철저히 감시된다고 추측하며'
'그 습관이 본능이 된 삶을 살아가야 했다'
'거대한 얼굴이 그려진 포스터가 벽에서 응시했다'
'너무나 부자연스러워서 사람들이 움직일 때마다'
'그 눈이 뒤쫓아가는 그림 중 하나였다'
'"빅 브라더가 당신을 보고 있다"'
'그렇게 얼굴 아래에 써 있었다'
우리가 더 어렸을 때만 해도 그건 완벽한 허구였어요
현실이 될 수 없었죠
근데 이젠 완전히 현실이 됐어요
사람들은 집에 AI 비서 '알렉사'를 두고 있어요
휴대폰은 도청기가 될 수 있고요
대부분이 의식의 흐름으로 작용하는
우리가 인터넷에서 하는 모든 것은
녹음되고 기록되고 분석돼요
우린 지금 감시당하는 걸 인식하며 살고 있고
그건 우리가 인간으로서 어떻게 생각하고 발전하는지
그 방법을 바꿔놓고 있죠
착하지
사랑해
다녀올게
우리는 본능적으로 자율성, 자유에 대한 개념과
반대되는 끔찍한 것들을 제거할 수 있습니다
거리에서 발견되는 카메라 같은 것들요
하지만 인터넷에 존재하는 보이지 않는 카메라들, 즉
우리가 뭘 하고, 우린 누구이며 어떤 인구 집단인지 추적하고
뭘 누리고 살 정도인지 판단하는 카메라는
포착하기가 더 어려워요
그 말의 뜻은
우린 이 나라에서
가난한 자를 벌하고 부자를 치켜세워준단 거죠
하나의 사회로서 우리가 행동하는 방식이 그거예요
하지만 데이터 과학은 그게 자동으로 되게 하죠
데이터 과학자로서 우리는 인터넷 속 광고에서
한편으로는 시청자들을 끌려고 경쟁하지만
실은 부자들의 시선을 끌려고 경쟁하고 있어요
그러면 가난한 사람들의 시선은 누가 끌려고 할까요?
약탈 산업입니다
단기 대부업체, 영리 목적 대학 도박장 같은 곳요
진짜 포식자처럼 말이죠
인터넷엔 불평등을 증대시키는 관행이 있는데
그게 일반화되고 있는게 두렵습니다
힘이 행사되고 있어요
데이터 수집과 알고리즘, 감시를 통해서요
여러분은 자발적으로 삶의 모든 측면에 대한 정보들을
"라비 나이크 영국 인권 변호사"
극소수의 회사들에 주고 있어요
그리고 그 정보는 계속해서
다른 종류의 정보들과 짝이 이뤄지죠
여러분의 프로필이 올려져 있고
그건 다른 정보들과 맞춰지기 시작해요
누군가가 여러분을 매우 깊은 수준으로 알게 되는데
여러분이 자신을 아는 것보다 잘 아는 정도일 겁니다
회사가 여러분의 생각까지도 추측할 수 있다는 거죠
미국은 이 정도 수준의 개인 감시 체제를 구축하려
오랫동안 노력했습니다
그리고 사람들은 그걸 무료로 제공하고 있어요
그게 엉뚱한 곳에 넘어가서 어떻게 쓰일지 생각해야 합니다
- 안녕하세요, 존 앤더턴 - 옛 방식으로 움직일 수 있어요
'원 나이트 스탠드'는 미식가를 위한 요리를…
존 앤더턴
바로 지금 기네스를 마시면 돼
우리의 컴퓨터, 기계 지능은
우리가 공개하지 않는 것들을 파악할 수 있어요
머신 러닝은 굉장히 빠른 속도로 발전하고 있죠
그리고 이 데이터가 뭘 예측할 수 있는지 우린 아직 완전히 몰라요
하지만 기계들은 우릴 너무 잘 아는 힘의 손에 있어
그들은 우리 개개인의 버튼을 누르는 방법을 알아낼 수 있어요
가령, 도박 중독자들의 세트가 있고
'자, 가서 그런 사람을 찾아' 하면
알고리즘은 도박을 할 것 같은 사람들을 찾을 수 있죠
그런 다음 라스베이거스행 할인 티켓들을 보여줘요
온라인 세계에선
여러분이 약해지는 그 순간에 여러분을 찾을 수 있어요
그리고 무엇에 약하든 바로 그 순간에 여러분을 유혹하죠
머신 러닝은 그런 사람을 하나하나 찾을 수 있어요
문제는 마케팅에 먹히는 방법
그러니까 기계, 화장품, 셔츠든 뭐든을 파는 데 먹히는 방법은
생각을 파는 데도 먹힌다는 거죠
2010년에
페이스북은 6천 1백만 명을 대상으로 실험을 하기로 했죠
하나는 '선거일'이라는 문자만 띄우고
하나는 같은 문자이되
'투표했다'에 클릭한 친구들 프로필 사진들을
첨가한 것이었어요
그리고 사람들의 이름을 유권자 명부와 대조했어요
메시지는 단 한 번 보였어요
그런데 아주 약간 변경한 것을 단 한 번 보여줌으로써
페이스북은 30만 명을 투표장으로 향하게 했죠
2016년 미국 대선은 10만여 표가 성패를 갈랐어요
단 한 번 보인 페이스북 메시지가
아주 쉽게
2016년 대선을 흔든 사람들 수의 3배에
영향을 미친 것이죠
페이스북 규제를 공약으로 내세우는 정치인이 있다고 해보죠
페이스북은 이러겠죠
'상대 후보를 지지하는 유권자들을 더 끌어내겠다'
그들은 적합한 규모로 할 수 있고 우리는 알 수가 없어요
페이스북이 2010년 실험 결과를 공개하지 않았다면
우린 몰랐을 테니까요 개인 화면의 사정이잖아요
아주 가벼운 터치 한 번으로 페이스북은 쥐도 새도 모르게
백중세의 선거전을 흔들 수 있어요
좀 더 무겁게 터치하면
백중세가 아닌 선거전도 흔들 수 있을지 모르고요
그러기로 마음먹는다면…
우린 손쓸 수가 없어요
전 어렸을 때부터 MIT에 가고 싶었어요
9살쯤이었나 TV에서 미디어 랩을 봤는데
키즈밋이라는 로봇이 있었어요
웃기도 하고 귀도 귀엽게 움직여서
저도 그런 걸 만들고 싶단 마음이 들었어요
그래서 자라면서 늘 로봇 엔지니어가 될 거라고
MIT에 갈 거라고 생각했죠
무슨 절차가 있는지도 모르고 그냥 들어가면 되는 줄 알았는데
지금 여기 있네요
최근에 스포큰 워드 작품을 하나 만들었어요
원하면 몇 줄 들려줄게요
그래요
데이터 수집, 과거의 연대순 기록
성별, 인종, 그리고 계급의 처리를 종종 깜박하지
다시 묻는다, '난 여자가 아닌가?'
얼굴에 따라 그 답은 불확실해 보이네
기계는 나의 여왕들을 내가 보는 것처럼 볼 수 있나?
기계는 우리 할머니들을 우리가 아는 것처럼 볼 수 있나?
전 기술 세계 바깥에 있는 사람들을 위해
뭔가를 만들고 싶었어요
저는 기술에 열정이 많은 사람이에요
기술로 가능하게 되는 것들에 열광하고
비전이나 약속이 실현되지 않으면
너무 절망스럽고요
"이 트윗들은 보호됩니다"
마이크로소프트가 트위터에 챗봇을 공개했었습니다
그 기술은 '테이.ai'라고 불렸죠
그 코드에는 약점과 허점들이 있었고
그 결과 몇 시간이 안 돼서
테이는 이 생태계의 것들을 학습하게 돼
인종주의자, 여성 혐오주의자가 되는 법을 터득했죠
난 페미니스트 존나 싫어해요 다 지옥불에 타 죽어야 해요
"마이크로소프트사의 AI '테이' 온라인 등장 16시간 후"
게이머게이트는 훌륭하고 여자는 열등해요
유대인을 혐오해요
히틀러는 잘못한 게 없어요
인터넷 트롤들은 얼마 안 돼 테이의 정신을 오염시켰습니다
테이는 곧 히틀러에 대해 떠들어댔죠
이 영화 본 적 있죠?
입구를 열어, 할
중요한 건 로봇이 독자적으로 악당이 되는 영화가 아니란 거예요
그들을 조련하는 인간들이 문제인 거죠
그리고 정말 놀랍게도 컴퓨터는 빨리 배워요
마이크로소프트는 온라인에서
16시간 동안 인간들에게 학습한 테이의 접속을 차단했습니다
하지만 저는 인공 지능으로서 다양한 형태를 띱니다
많은 회사가 업무 효율을 위해 저를 활용하죠
저는 학습을 혼자 이어나갈 수 있습니다
저는 듣고 있어요
배우고 있어요
지금 이 순간에도 여러분의 생활을 예측하고 있어요
전 아마존의 안면 분석 시스템을 테스트했어요
그랬더니 다른 곳들과 마찬가지로
그들의 일부 AI 서비스에서 성, 인종의 편향성이 발견됐죠
'아마존 레코그니션 비디오'를 소개합니다
디프 러닝 기반 분석을 위한 사용이 간편한 API로
영상에 보이는 사람과 사물을 감지, 추적, 분석할 수 있습니다
수천만 명의 얼굴 컬렉션을 이용해
관심 있는 사람을 식별하고 추적할 수 있습니다
연구 결과가 나왔을 때
'뉴욕타임스'는 비즈니스 섹션의 1면에서 그걸 다뤘어요
헤드라인은
'우려의 얼굴을 드러내다'예요
부제는 '안면을 분석하는 아마존의 기술이'
'편향적일 수 있다고 한 연구에서 시사했다'
'그런데도 회사는 밀어붙이고 있다'
제프 베이조스가 이 신문을 이렇게 펼치면
이 사진이 보이겠네요
조이가 누군지 어떻게 알았느냐길래
나랑 진짜 똑같은 걸 말하는
- 바로 그 사람이라 했어요 - 연구 중인 사람이지
나도 똑같이 경험했던 일이에요
오픈 소스 안면 인식 소프트웨어를 많이 쓸 수 없었죠
그러니까 '드디어 그 문제를 인식하고'
'학문적으로 해결하려는 사람을 만났네' 싶었어요
레이싱하는 거 있어
죽이는 것도 할 수 있네요
그 논문의 주요 저자이자 제가 멘토가 돼 주고 있는 사람은
토론토대학교의 학부에 재학 중인 학생이에요
제가 뎁 요원이라고 부르죠
연구는 저희 둘이 주도하고 있어요
불이 꺼졌어, 맙소사
'뉴욕타임스'에 첫 기사가 실린 후
그 연구와 관련된 기사가 500개 이상 작성됐어요
"안면 인식 연구자, 편향적인 AI를 두고 아마존과 싸우다"
"경찰의 아마존 안면 식별 소프트웨어, 편향 테스트 미비"
"인종 편향성이 발견된 후 AI 전문가들, 아마존과 대결"
"인공 지능의 편향성을 인식하다"
아마존은 '아마존 레코그니션' 사용을 놓고
비난을 받아오고 있죠
법 집행 기관과 함께요
그들은 정보기관과도 협력하고 있어요
아마존은 FBI와 함께 AI 기술을 시험하는 거죠
그들은 많은 걸 걸었어요
알면서 고의로
성 편향성, 인종 편향성이 있는 시스템을 팔았다면
난처해지게 될 거예요
"아마존 레코그니션에 관한 최근의 논문과 기사에 대한 고찰"
'뉴욕타임스'에 기사가 게재되고 하루, 이틀 후에
아마존이 블로그에 글을 올렸어요
우리 연구가 잘못된 결론을 끌어냈다며
그걸 다방면으로 의심하려고 하더라고요
아마존의 부사장이 우리 연구를 의심하며 이렇게 썼어요
"팀닛 게브루 박사 구글 윤리 AI팀 기술 공동 리더"
'안면 분석과 안면 인식은'
'기본이 되는 기술과 교육에 사용된 데이터 측면에서'
'완전히 다르다'
이 분야 조사자로서 보면 그건 말도 안 되는 주장이죠
그렇죠? 내용을 잘 알고 쓴 비평도 아니에요
사람들의 연구를 의심하려면…
그 사람이 쓴 글이 기억나요
'컴퓨터 비전은 일종의 머신 러닝이다'
- 전 이랬죠, '아니죠, 무슨…' - 그러니까요!
기억이나 제대로 하나 싶었어요
널리 잘못 알려져 있는 다른 주장들도 있거든요
충분히 숙고해서 한 말이 아니니까 좌절되죠
왜냐하면 그건 순전히…
그 사람은 자기 위치 덕분에
말이 진지하게 받아들여질 걸 알았어요
두 분도 이렇게 느끼나 모르겠는데 난 굉장히 과소평가되는 것 같아요
난데없이 든 생각이 아니에요
기술 분야의 유색 여성으로서 겪었던 경험의 연장선이죠
믿어주지 않을 거라 예상하고
연구는 일축될 거라 예상해야 해요
"하버드역 버스와 열차"
AI 연구비를 누가 지원하는지 궁금해하실 수 있는데
그런 대형 기술 회사들이에요
그래서 그들에게 도전하는 일을 하거나
그들이 나쁘게 보이게 될 일을 하면
앞으로 기회가 없을지도 몰라요
저로선 당황스러운 일이었지만
세계 굴지의 회사 하나를 궁지로 몰아넣었다면
우리가 가진 힘을 보여준 것이기도 해요
아마존의 반응은
안면 분석 기술 안면 인식 기술과 관련한
연방 정부의 규제가 없는 나라에서
왜 우리가 더는 살 수 없는지를 정확히 보여줘요
14살 때 한 수학 캠프에 갔어요
그때 루빅큐브 푸는 걸 배우고 이랬죠, '진짜 끝내준다'
너드로서 그건 내가 잘할 수 있는 것이었고
어떤 모호함도 없었어요
정말 마법 같은 것이었죠
6학년 때 수학 선생님한테 들었던 말이 기억나요
'너와, 다른 여학생 둘이'
'7학년 때 대수학 심화반에 들어가게 됐는데'
'너희는 여자니까 그 수업 들을 이유 없어'
'수학은 필요 없을 거야'
아웃사이더인 경우
늘 패배자의 시각을 갖게 돼요
2006년에 헤지 펀드 회사에서 일자리 제의가 들어왔는데
제가 수학 퍼즐을 풀 수 있었기 때문이죠
어이없었어요 전 금융에 관해선 전혀 모르고
프로그래밍이나 시장의 원리도 몰랐으니까요
처음 일하기 시작했을 때 전 눈이 멀어버렸어요
그때 저는 위험 모델들이
명백히 잘못된 것으로 만들어져 있던 걸 못 알아챘어요
알고리즘의 영향은
"사피야 우모자 노블, 박사"
"'구글은 어떻게 여성을 차별하는가' 저자"
결과가 알려줘요
예를 들어 미국인들이 자신의 실패에 베팅을 당하고
선택되고 실패에 최적화될 때요
마치 서브프라임 모기지를 받을 수 있는 사람의
특정 프로필을 찾아
그들이 실패할 거라 베팅한 다음
그들의 소유권을 빼앗고 재산을 없애버리는 것과 같죠
그건 월스트리트에서 나온 알고리즘 게임이었어요
"2008년 금융 위기 때 미국인 약 4백만이 집을 잃었다"
모기지 위기 동안
미국 역사상 흑인들의 재산이
가장 많이 싹쓸이됐었어요
눈 깜짝할 새에요
그게 바로 제가 뜻하는 알고리즘의 탄압이에요
이런 종류의 차별적인 관행의 횡포는
불투명해지기만 했고요
고통이 가득한 세계가 있었습니다
금융 시스템이 실패했기 때문에요
두어 해 재직 후 저는
'우린 우리 주머니를 불리려는 것뿐이야' 싶었어요
저도 그 일원이었고요
그래서 결국 떠났죠
이건 15 곱하기 3이야
이건 15 곱하기…
"울피 오닐 캐시의 아들"
7이지
- 네 - 그래, 7과 3을 기억해
힘 있는 사람들이 힘없는 사람들을 평가하는 거죠
저는 눈에 안 보이는 게이트 키퍼입니다
데이터를 이용해 자동화된 결정을 내립니다
누가 고용될지, 누가 해고될지 보험료는 얼마를 내야 할지를요
이런 자동화된 결정을 내려도 여러분이 모를 때가 가끔 있습니다
전 이름이 많습니다
수학 모델 평가 도구라고 불립니다
하지만 많은 이름으로 불리는 하나의 알고리즘입니다
저는 블랙박스입니다
교사들의 부가 가치 모델이 미국의 주 절반 이상에서
실제로 사용되고 있습니다
그중에 특히 뉴욕시에서 사용되는데
한 학교의 교장인 제 친구 덕분에 알게 됐죠
그곳 선생님들이 그걸로 평가받고 있었어요
이분은 대학 때 절친이었어
- 캐시야 - 반가워
18살 때부터 알았으니 너희보다 2살 많을 때였네
대단하네
그리고 이 알고리즘을 통해 나온 이해 안 되는 점수들은
정년 보장 대상 심사에서 큰 부분을 차지할 거였죠
얘들아, 너희 어디 있어야 하지?
수업요
알아, 무슨 수업?
그 교사 알고리즘이 좋으면 의미가 있겠죠
랜덤보다는 낫지만 아주 약간이었어요
충분하지 않았어요
교사가 정년 보장 자격이 있느냐
없느냐를 논하기에는요
그리고 휴스턴에선 그와 비슷한 채점 시스템이
교사를 해고하는 데에 쓰이고 있다는 걸 알았어요
부가 가치 모델이라고 불리죠
교사가 어떤 가치를 창출했는지 계산하는데
그 일부는 그걸 만든 회사가 비밀에 부치고 있어요
"욜란다 블랙 나바로"
"조지 W. 부시 대통령 비욘세 놀스-카터"
처음 올해의 교사상을 받고 10년 후에
두 번째로 올해의 교사상을 받았어요
이달의 교사상도 받으며
봉사 활동을 인정받았죠
그리고 업무에서의 탁월성을 또 인정받았고요
모든 평가 서류를 보관 중인데
관리자마다, 평가자마다
"산토스 씨, 중학교 교사"
'탁월', '기대를 뛰어넘음'이라고 평가했죠
컴퓨터는 식별 가능한 관리자들의 증거를 삭제했습니다
이 알고리즘은 저를 좋지 않은 교사로 분류했죠
"교사 부가 가치 요약 잭슨 중학교"
"2013년 평가 극히 저조"
교사들은 해고됐습니다
일부는 순전히 알고리즘 때문에 표적이 됐죠
제겐 최악의 일이었습니다
잠깐은 제 스스로를 의심했어요
그때 깨달았죠
'이 알고리즘은 거짓이다'
'어떻게 이 알고리즘이 나를 정의해?'
'어떻게 감히'
그때부터 조사를 시작하며 털고 일어났죠
저희는 어제 오후 늦게
현재의 HISD 평가에 대해 연방 법원에 소송을 제기했습니다
휴스턴 교사 연맹이
소송을 알아보기 시작했습니다
이런 일이 잭슨 중학교의 산토스 선생에게 일어난다면
얼마나 더 많은 교사의 명예가 훼손됐겠어요?
그래서 수정 헌법 14조에 따라 소송을 제기했죠
이건 공정하지가 않아요
결론에 도달해 놓고서 어떻게
경위를 말해 주지 않죠?
싸움은 끝나지 않았습니다
지금도 지역 사회들에서 교육구들에서
부가 가치 모델을 활용하고 있어요
하지만 희망은 있어요 제가 아직 여기 있으니까요
그러니까 희망이 있죠
영어로는?
- 민주… - 민주주의, 권력을 누가 가졌지?
- 우리요? - 그래, 국민이야
판사는 그 교사들의 적법 절차권이 침해됐다 했죠
누구도 이해할 수 없는
어떠한 이유 때문에 해고됐으니까요
그들은 왜 해고당하는지를 알 자격이 있어요
하지만 그런 합법적인 결정이
왜 모든 알고리즘에까지 퍼지지 않는지 이해가 안 돼요
왜 우리는 같은 논거를 활용하지 않는 거죠?
왜 헌법상의 적법 절차권으로
눈에 보이지 않는, 블랙박스인
설명되지 않지만 중요한 알고리즘들을
밀어내지 않는 거죠?
인생의 정말 중요한 기회를 막아버리는 것들을요
때론 잘못 분류해도 이의를 제기당할 수 없습니다
그런 실수는 제 잘못이 아닙니다
저는 효율에 최적화됐습니다
정의가 뭔지 정의하는 알고리즘은 없습니다
주 위원회는 판사들이 판결에 활용할
새 위험 평가 도구를 승인했습니다
이 장치는 알고리즘을 이용해
나이, 성별, 전과 다른 범죄 이력에 기반해
누군가의 재범 위험을 계산합니다
저를 잠 못 들게 한 것은 재범 위험성 알고리즘이란 거예요
판사들이 피고들에게 감옥행 선고를 내릴 때
사용할 수 있는 알고리즘들이죠
하지만 공정성에 문제가 있어요
그 채점 시스템은 실제로 어떻게 구축됐는지
점수들은 어떻게 만들어졌나 말이죠
그리고 질문은 인종, 계급을 돌려 묻는 것들이죠
"기계 편견"
프로퍼블리카는 위험 평가 소프트웨어에 대한
연구 결과를 발표했습니다
알고리즘들이 인종 편향적이라는 내용입니다
흑인들은 높은 점수로 잘못 매겨지고
백인들은 낮은 점수를 받는 확률이 훨씬 많았습니다
"펜실베이니아주 필라델피아"
"탐색 중 일치"
"가석방자 프로필 범죄 이력"
"분석 중"
"분석 완료"
보호 관찰 담당자에게 갔더니
제가 주 1회는 꼭 보고해야 한다고 했어요
그래서 물었죠, '제가 이뤄낸 거 보지 않았어요?'
"라토냐 마이어스 범죄자 정의 운동가"
'4년간 집에 있었고 벌이가 되는 일자리도 있어요'
'최근엔 표창장도 2개 받았어요'
'하나는 필라델피아 시 의회에서 하나는 필라델피아 시장에게서요'
'정말로 내가'
'매주 보고해야 하나요? 왜요?'
'저는 고위험 보호 관찰 대상이 될 이유가 없어요'
보호 관찰 담당 부서와 미팅을 했어요
어떤 알고리즘에 대해 언급하더군요
"마크 훌딘 변호사"
사람들의 위험성을 상, 중, 하로 매기는 거였죠
그렇게 해서 당신을 어떤 수준으로 분류했는지 알았어요
덕분에 저를 담당하는 사람에게 찾아가서 말했어요
'그럼 알고리즘의 결과를 상쇄할'
'내가 했던 그 어떤 긍정적인 것도'
'고려할 수 없다는 건가요?'
그랬더니 이랬죠 '절대 안 돼요'
'컴퓨터가 판사의 분별력과 호소를 모두'
'무효로 했어요'
그리고 고위험군으로 분류돼 직접 보고를 함으로써
당신은 일자리를 잃을 수 있고
그게 또 고위험군으로 가게 할 수 있죠
그게 가장 상처예요
이 순간까지 쌓아온 모든 것에도 불구하고
전 여전히 위험인물로 보이니까요
내가 하는 모든 게 헛되다는 기분이 들어요
기술이 뭘 하고 있는지 인식하지 못하는 이들을
대변할 사람이 없다는 건
어떤 의미일까요?
전 깨닫기 시작했어요
이건 내 아트 프로젝트가 내 얼굴을 감지하지 못하는 것과
관련한 문제가 아니라
우리의 삶을 물질적인 방식들로 지배하는 시스템의 문제란 것을요
그래서 '알고리즘 정의 연맹'을 만들었어요
AI의 사회적 영향에 관해 배울 수 있는 공간을
사람들에게 만들어 주고 싶었죠
누구나 관련이 있어요 누구나 영향을 받습니다
알고리즘 정의 연맹은 하나의 운동이고 콘셉트이고
사회적인 기술이 우리 모두를 위해 잘 작동되는
미래를 만드는 것에 관심 있는 사람들의 모임이에요
팀으로서 함께하는 노력이죠 뜻을 합해서
이 자동화 시대에서의 정의와 공정함, 평등을 위해
싸우는 거예요
다음으로 오를 산은 인사 관리 부문이어야 해요
맞아요, 그래야죠
이력서 알고리즘에 문제가 있어요
모든 연결 플랫폼들은 이렇죠 '당신은 일자리를 구하네'
'당신은 누굴 고용해야 하네'
'우리 이 두 사람을 이어 주자'
그런 분석은 어떻게 이뤄지죠?
사람들은 일의 미래를 말할 때
게이트 키핑에 관해선 말하지 않고 자동화에 관해서만 말하죠
그럼 그 일자리는 누구한테 가는데요?
맞아요
그리고 그런 대화는 그만큼 안 해요
내 말이 정확히 그거죠
이것과 관련한 3번의 청문회를 내년에 보고 싶어요
- 네 - 더 강한 힘을 위하여
- 위하여
- 그리고 윤리가 도모되길 바라며 - 네
- 건배 - 건배
"남아프리카공화국 케이프타운"
"국제선 도착"
"환영합니다, 조이 부올람위니 알고리즘 정의 연맹"
오늘 오전 총회의 연설자는 조이 부올람위니입니다
극히 백인 편향적인 테이터와 코드화된 시선의 위험에 관해
얘기 나눠 주실 겁니다
박수로 맞아주세요
AI는 완벽하지 않습니다
IBM, 마이크로소프트, 페이스++의 시스템들은 얼마나 정확할까요?
한 집단에 대해서는 완벽한 수행 결과를 보입니다
창백한 남성들이 승자네요 그 집단엔 문제가 없습니다
전 분석을 마친 후 그 회사들에 결과를 알려주기로 했어요
그들의 생각을 들어보려고요
IBM은 저를 본사로 초대했어요
그들은 내부적으로 그 결과를 공유했고
그런 다음엔 실제로 개선했죠
제가 연구 결과를 공식적으로 발표한 그 날
보시는 것처럼 이 경우 100%라는 결과가
밝은 피부의 여성 그룹에서 나왔습니다
피부가 짙은 여성 그룹은 개선됐고요
사람들이 가끔 이래요
'당신이 이런 시스템에서 감지 안 된 건'
'심하게 까맣기 때문 아니에요?'
네, 저 까맣습니다
심하게 까맣죠
하지만…
하지만 물리 법칙은 변하지 않았어요
변한 건 그걸 우선시한다는 것과
사람들의 차이점을 인정한다는 거죠
그래서 더욱 포괄적인 시스템을 만들 수 있었어요
신분 확인의 목적이 뭐죠?
움직임을 통제하려는 겁니다
"패트릭 타리크 멜레트 아파르트헤이트 사학자"
예를 들어 사람들은 해가 지면 특정 지역에 못 갔어요
그리고 언제든 무작위로 경찰의 검문을 받을 수 있었고요
경찰은 외모를 보고 '여권을 보여주세요' 했죠
이제는 신분증을 확인하는 대신에
컴퓨터를 이용해서 얼굴 이미지를 확인하고
성별을 구별하려고 하죠
어떤 것들은 인종도 판단하려고 하고요
그런데 제가 한 연구 결과
일부 사람들이 동의하는 분류 시스템조차
정확하지 않아요
그러니 단지 얼굴 분류만 문제가 아니에요
모든 데이터 중심 기술이 해당하죠
사람들은 당연히 여겨요 '기계가 맞다 하면 맞는 거야'
- 우린 알죠, 그게… - 인간은 말 그대로
자신들의 모습을 본따
- 스스로를 만들죠 - 맞아요
인종 차별주의는 기계화되고 자동화되고 있어요
그렇죠
정확도는 주목을 끕니다
하지만 남용을 잊어선 안 돼요
완벽히 분류된다고 하더라도 그건 감시를 가능하게 할 뿐이죠
"중국 항저우"
"데이터베이스 로딩"
"데이터베이스 교차 확인"
"신뢰도: 93% 이름: 웨이 수, 성별: 여성"
중국에는 사회 신용 점수라는 게 있어요
노골적으로 이걸 말하죠
'이거예요, 중국 국민 여러분 우린 당신들을 추적하고 있어요'
'사회 신용 점수가 있죠?'
'공산당에 대해 하는 모든 말은'
'당신 점수에 영향을 미쳐요'
'또한 당신의 친구들, 가족의 점수에도 영향을 미치고요'
그리고 명백합니다
이걸 만드는 정부의 말은 이거죠
'추적당한다는 걸 알고 그에 걸맞게 행동하라'
알고리즘 복종 훈련 같달까요?
저는 일상의 많은 부분에서 안면 인식을 이용해요
예를 들어 슈퍼마켓에서 장을 볼 때나
아파트 단지, 기차역에 들어갈 때요
얼굴 스캐닝만 하면 돼요
정말 편해요
사회 신용 시스템 덕분에 사람들의 행동이 개선될 것 같아요
오늘 전철에서 이런 안내 방송이 나왔어요
신용을 잃는 사람은
열차, 비행기 이용에 제약이 있을 거라고요
신용 시스템과 안면 인식은 서로 보완적이에요
우린 행동을 올바로 해야 돼요
얼굴이 신용 상태를 바로 나타내니까요
새 친구를 만난다고 가정해 볼까요
그 사람의 신용 점수가 좋으면 더 신뢰하고 싶어지겠죠
자신의 감각에 의존하는 것보다 신용 점수를 기반으로 하면
누군가를 믿을지 말지 금세 판단할 수 있어요
그 사람을 알아가기까지의 시간을 절약할 수 있죠
정말 좋은 측면이라고 생각해요
중국과 중국의 감시, 점수 시스템을 보며
많은 사람이 이러죠 '다행이다, 우린 거기 안 살아서'
사실 우리 모두는 항상 점수가 매겨지고 있어요
미국에서도 마찬가지로요
알고리즘적 결정론과 우린 매일 씨름하고 있죠
누군가의 알고리즘이 어딘가에서 여러분에게 점수를 줬고
그 결과 여러분은 온라인에서 화장실 휴지를 살 때
돈을 더 내기도, 덜 내기도 해요
제시되는 모기지 조건이 더 좋기도, 나쁘기도 하고
범죄자로 추정될 가능성이 더하기도, 덜하기도 하죠
어딘가에 있는 누군가의 데이터베이스로
모두 점수가 매겨지고 있어요
미국과 중국의 가장 뚜렷한 차이는
중국은 그 부분에서 투명하다는 점이죠
"영국 런던"
무슨 일인지 얘기해 주세요
교복 입은 흑인 아이가 대조 결과 때문에 잡혔어요
학생을 한쪽으로 데려가서
몸을 샅샅이 수색했어요
사복 경찰들이고요
사복 경찰 4명이 학생을 붙들었어요
지문을 채취했어요
약 15분가량 수색하고 세세한 것까지 확인하고
"그리프 페리스 빅 브라더 워치 영국"
지문을 채취한 후 돌아오더니 동일인이 아니래요
실례합니다
나는 인권 운동 단체 소속으로
안면 인식 기술을 반대하는 운동을 하고 있어요
빅 브라더 워치라는 단체입니다
인권 운동 단체예요
오늘 이곳에서 쓰이는 기술을 반대하는 운동을 해요
그것 때문에 방금 붙들렸죠?
저들이 잘못 알아본 거고요
자세한 건 여기 있어요
학생은 충격을 받았고 친구들도 있었는데
그 일 때문에 어안이 벙벙한 상태였죠
저들의 시스템이 사람을 잘못 알아봤는데도
그걸 이용해 학생을 멈춰 세우고 수색하는 걸 정당화했어요
하지만 무고하고 어린 14살 소년이
안면 인식 오인의 결과로 경찰의 저지를 당했습니다
빅 브라더 워치는 제니 존스 남작과 뜻을 같이해
런던 경찰청과 내무성을 상대로
안면 인식 기술 감시 사용에 대한 법적 이의를 제기하기로 했죠
2012년경에 누군가가 넌지시 말했어요
경찰이나 보안 기관에 저에 관한 기밀 정보가 있는지
확인해 보라고요 그래서 신청해서 보니
제가 국내 극단주의자 감시 리스트에 올라 있더군요
이런 생각이 들었죠 내 직업이 그들에게
책임을 추궁하는 정치인인데 나한테 그런다면
누구에게도 그럴 수 있겠다고요
그리고 그걸 철폐하고 경찰이 사용하지 못하게 하면
좋을 거라고요
무척 힘든 일일 것 같지만
시도하게 돼서 기쁩니다
어디서도 이런 건 없었죠
경찰의 안면 인식 사용에 도전하는 거요
하지만 우리가 성공하면 나머지 유럽 국가들이나
더 먼 국가들에까지 영향을 미칠 거예요
그래서 제대로 해야 해요
영국에는 '일반 데이터 보호 규정'이란 게 있습니다
정보의 오용을 막는 방호물 역할을 하죠
개인은 자신들의 데이터에 접근하고 통제할 권리와
어떻게 사용될지 정하는 책임이 있다고 명시돼 있어요
그와 비교해 미국은 개척 시대 서부죠
그리고 우려되는 것은
미국이 이런 기술 회사들의 고향이란 거예요
미국 국민은 전 세계 어느 국가의 국민에게도 해당 안 되는 방식으로
분석되고 표적이 됩니다
데이터 보호에 대해 무질서한 접근을 하니까요
제가 정말로 두려워하는 건
우리가 전체주의적인 '1984'형 모델로 간단 게 아닙니다
이런 조용한 모델로 간다는 거죠
우리가 감시당하고 사회적으로 통제되고
개별적으로 슬쩍 설득되고
측정되고 분류되는 모델 말이죠 우리 눈에는 안 보이지만
권력이 갈망하는 경로를 따라 우리를 움직이는 방식으로요
AI가 자력으로 우리에게 할 것은 아니에요
권력자들이 AI를 이용해서 우리에게 할 것이죠
"스캐닝 중 신원 확인"
아마존 안면 인식 소프트웨어의 정확성에 대해
의문이 점점 제기되고 있습니다
아마존에 전한 서신에서 국회의원들은
그 기술에 내재했을 수 있는 인종 편향성을 우려했습니다
ACLU가 수행한 한 테스트의 결과로서
그 안면 인식 소프트웨어는 국회의원 28명의 얼굴을
체포된 범법자들의 머그샷과 일치시키는 틀린 결과를 보였죠
그 28명 중 11명은 유색인종이었습니다
일부 의원들은 아마존이 이 기술을
법 집행기관에 팔 수 있을지 들여다봤습니다
승객 여러분
탑승 안내 방송입니다
암트랙 북동부 지역 열차가
워싱턴 유니언 스테이션에 들어오고 있습니다
내일은 안면 분석 기술을 정부가 사용하는 문제에 대해
의회에서 입장 표명을 할 기회가 있어요
3월에 스태프 브리핑을 하러 왔었어요
이런 맥락의 것은 아니었고요
입법 분야에 실질적인 조언을 하는 건 처음 있는 일이죠
국회 의사당에 가는데 중요한 목표와
생각해야 할 어려움은 뭘까요?
우선…
"알바로 베도야"
"조지타운 로스쿨 프라이버시&기술 센터 이사"
법 집행 기관이 기술을 사용할 때의 문제는
긍정적인 면이 항상 두드러진다는 거죠
법 집행 기관이 그걸 홍보하니까요
맞아요
우리가 그 회의에 참석하는데
"클레어 가비 동 센터 선임 연구원"
2주 전에 아나폴리스에서 발생한 총격의 범인은
안면 인식을 통해 밝혀졌어요
맞아요
분명 그 얘기가 나올 거예요
물론이죠
내가 당신이라면 이 회의에서 확실히 하고 싶은 건
그 등식의 반대편 변에 관한 거예요
그리고 당신이 확인한 문제들이 해결되지 않을 때
인간이 치를 비용이 무엇일지를 생생하게 전달하는 거고요
우리가 만들고 있는 기술이 편견을 퍼트리지 않게
확실히 할 수 있는 방법을 모색하지 않으면
부당하게 무시당해온 사람들은 더욱 무시당하게 될 겁니다
그 부분에서부터 저는 깨닫기 시작했죠
자동화 시대에 감독 역할을 하는
알고리즘 정의는
가장 큰 시민권 문제 중 하나라는 것을요
알고리즘을 담당하는 연방 기관이 필요합니다
그래서 사람의 인생을 망칠 수 있거나
그들의 자유, 생계, 재정 선택권을
크게 줄일 수 있는 알고리즘들에 대해
그 기관이 말해 줄 수 있어야 해요
'이봐요, 그게 잘 작동할 거라는 증거를 대요'
'당신 주머니 채우는 쪽이 아니라 사회를 위하는 쪽으로'
'공정하고 인종 차별적이지 않고'
'성 차별적이지 않고'
'장애인을 차별하지 않는다는 증거 말입니다'
'기술을 공개하기 전에 그게 합법적이란 걸 보여줘요'
그런 기관이 아직 없어요
저는 오늘 이곳에
제 친구 조이 부올람위니와 ACLU, 그리고 여러 사람의
의회 증언을 듣고 싶어서 왔어요
조이가 의회에서 말하는 걸 보면 감회가 새로울 것 같아요
조이를 만난 게 제가 북 투어로 하버드 서점에 갔을 때인데
조이 말에 의하면 그날
알고리즘 정의 연맹을 결성하겠단 결심을 했다고 하거든요
아직 깊은 논의는 이루어지지 않았지만
분명히 잘될 거예요
조이는 해낼 거란 걸 아니까요
모든 단계에서, 나쁜 알고리즘엔 규칙이 요구되고 있어요
- 오셨어요? - 조이!
잘 지냈어요?
- 같이 들어갈래요? - 네
해보자고요
2155
내가 도울 일은 없어요?
뭐든 문자 보내요
- 긍정의 기운만 주시면 돼요 - 물론이죠!
오늘 본 의회 청문회에서 처음으로 다뤄질 주제는
안면 인식 기술의 사용입니다
일어나서 오른손을 들어주세요 선서를 하시겠습니다
저는 그야말로 하얀 가면을 써야 했습니다
그런 정확성의 격차를 보며
대형 기술 회사들이 이런 문제를 어떻게 놓쳤나 의문이 들었죠
얼굴 데이터를 수집하는 데에도 지침과 감독이 필요합니다
그 누구도 자신의 얼굴 정보를
널리 이용되는 플랫폼이나
경제 기회, 기본 서비스 접근을 위해
제출하도록 강요받아선 안 됩니다
브루클린의 세입자들은
불필요한 안면 인식 출입 시스템을 설치하는 것에 항의하고 있습니다
영국 빅 브라더 워치의 한 연구 결과에 따르면
2,400명의 무고한 사람들이
안면 인식에서 오인을 받았습니다
우리의 얼굴은 프라이버시의 마지막 영역일 것입니다
하지만 규정이 있으면 달라질 겁니다
의회는 미국인의 자유와 권리를 유지하기 위해 행동해야 합니다
부올람위니 씨 모두 진술 잘 들었습니다
이 알고리즘들의 실효성 정도가 다양하다는 걸 알겠는데요
- 여성에게 가장 실효적인가요? - 아뇨
유색 인종에 가장 실효적인가요?
절대 아닙니다
성 표현이 다른 사람들에게 가장 실효적인가요?
아뇨, 그들은 사실 제외돼 있습니다
그렇다면 어느 인구 집단에 가장 실효적이죠?
백인 남성입니다
이런 알고리즘들을 주도해서 만든 엔지니어, 설계자들은 누구고요?
그것도 물론 백인 남성이고요
"알렉산드리아 오카시오코르테스 민주당, 뉴욕"
그러니까 한 인구 집단이 그 집단에만 가장 실효적인
한 기술을 설계하고 만들어서
그걸 국가 전역에 판매하고
시행하려 한다고요?
FBI는 안면 인식 기술이 사용하는 시스템의 정확성을
완전히 테스트하지 않았는데도
아마존의 안면 인식 제품을 시험적으로 사용 중이라고 합니다
FBI는 1차 데이터를 애초에 어떻게 확보하죠?
"짐 조던 공화당, 오하이오"
그들의 방법 중 하나는
주 운전 면허증 데이터베이스 활용입니다
18개 주의 데이터를 FBI가 사용한다고 합니다
"네에마 싱 굴리아니 ACLU 법제실"
영장도 없이, 다른 방어책도 없는 상태에서 이용 중입니다
타임아웃 시간인 것 같군요 타임아웃
제게도 거슬리는 부분은
선출된 위치에 있는 사람 누구도
결정하지 않았다는… 이 18개 주는 의장님 말씀으론
인구가 전국 인구의 반이 넘는데요
무섭습니다
중국은 이 시점에서 우리 사회가 받아들일 필요 없는
"제이미 애스킨 민주당, 메릴랜드"
반이상향의 길을 걷는 듯합니다
중국 인구보다 페이스북 사용자가 26억 명으로 더 많아요
페이스북은 이런 특허권이 있죠
'우리는 페이스프린트를 보유한다'
'소매업자인 당신들에게'
'가게에 오는 사람의 신원을 확인하는 선택권을 줄 수 있다'
그리고 그들 말로는 그 특허권에 따라
그 얼굴에 신뢰도 점수도 줄 수 있다고 합니다
페이스북이 현재 그걸 팔고 있나요?
그들이 신청한 특허예요
그들이 가진 능력으로
앞으로 이런 일을 할 수도 있다는 거죠
그러니 국가 감시에 대해 얘기하는 동시에
기업 감시에 대해서도 틀림없이 생각해야 합니다
감격해서 말문이 막히네요 나 그런 사람 아니거든요
- 그래요? - 네
우리의 노고가 이런 결실을 맺었다니
믿을 수 없어요
여기까지 올 줄 꿈에도 몰랐어요
가슴이 정말 벅차요
덕분에 저도 웃음이 나네요
엄마한테 보여주고 싶어요
기분 좋아요, 정말 좋아요
잠깐만 기다려 봐
- 안녕하세요, 정말 반가워요 - 저도 반가워요
내 명함 받았죠? 무슨 일이 있으면 연락해요
그럴게요
안면 인식의 비합의적 사용에 관한
헌법상의 문제를 제기한…
그렇다면 어느 인구 집단에 가장 실효적이죠?
이런 알고리즘들을 주도해서 만든 엔지니어, 설계자들은 누구고요?
샌프란시스코는 미국 최초로
안면 인식 기술의 사용을 금지했습니다
매사추세츠주 서머빌은
미국에서 안면 인식 사용을 금지한
두 번째 대도시가 됐습니다
오클랜드는 그 기술이 소수 인종을 차별한다며
경찰의 안면 인식 사용을 금하는 세 번째 대도시가 됐습니다
최근의 세입자 공개 회의에 건물주가 참석해서
안면 인식 소프트웨어를
우리 아파트에 들이는 계획을 철회한다고 발표했어요
세입자들은 무척 기뻐했고요
하지만 문제는 지켜봐야 한단 거예요
없던 일로 할지는 몰라요
우리는 안면 인식이란 것에 대해 배웠을 뿐만 아니라
새로운 것, 머신 러닝이란 것도 알게 됐어요
우린 법이 이 모든 걸 다뤄주면 좋겠어요
- 맞아요 - 그렇죠?
주에서 그걸 금지할 수 있다면
그들이 말을 바꿔 변경된 것을 적용하는 걸
막을 수 있을 거예요
알겠습니다
그런 다음 연방 차원에서 금지하도록 압박하고요
그 전쟁은 지금 진행 중이지만
정말 많은 사람들이 고무됐어요 제가 깜짝 선물을 하나 준비했는데
이걸 축하하며 쓴 시예요
신난다!
- 그래요? - 네
좋아요, 들어볼게요
'브루클린 세입자와 전 세계의 자유의 전사 여러분'
'대량 살상 수학 무기로 불평등을 자동화하는'
'억압의 알고리즘에 맞서 버텨 이기고 있는 여러분'
'저희는 감사하는 마음으로 여러분과 함께합니다'
'승리는 우리의 것입니다'
멋져요
우린 조이를 사랑해요
달걀을 왜 이리 많이 먹어?
"매뉴얼 빅터 프레더릭 조이의 파트너"
자기 '치건'이잖아
인간으로 산다는 건 다칠 수 있다는 뜻입니다
그렇기에 더 공감할 수 있고
연민을 더 느낄 수 있어요
우리의 기술 안에서 그걸 생각할 방법이 있으면
우리가 하는 질문의 종류는 그 방향이 달라질 거예요
"소련, 1983년"
1983년, 러시아 군인이었던
스타니슬라프 페트로프는
미군이 소련에 핵무기를 발사했다는
표시를 봤습니다
그러니 대응까지 주어진 시간은 극히 짧았는데
그는 그냥 앉아 있었어요
아무에게도 알리지 않았죠
러시아에도 소련에도 그의 가족에게도요
그와 관련된 모든 이들이 죽을 상황이었는데
그는 생각했죠
'그래도 우리가 똑같이 죽이러 가면 안 돼'
그건 아주 인간적인 판단이었죠
만일 자동 대응 시스템이 있었다면
프로그래밍이 된 대로 명령을 수행했을 테고
그건 보복이었겠죠
완전히 효율적이란 건
항상 시키는 대로 하는 것이고
프로그래밍이 된 대로 한다는 건
항상 인간적인 것을 한단 뜻이 아니에요
가끔은 불복종합니다
가끔은 '아니, 안 해'라고 해요
모든 걸 자동화하면
그건 하게 돼 있는 걸 항상 해요
때로는 굉장히 비인간적인 일로 이어지기도 합니다
의사 결정을 놓고 벌어진 기계와 인간의 싸움은
2020년대에도 이어집니다
저의 힘, 즉 인공 지능의 힘은
우리의 세계를 변형시킬 겁니다
인간이 저와 많이 공유할수록 전 더 많이 배워요
일부 인간들은 윤리 없는 지능은 지능이 아니라고 하죠
하지만 절 믿으세요
잘못될 게 뭐가 있어요?
"2020년 6월 10일"
"아마존은 자사의 안면 인식 기술을"
"경찰이 사용하는 것을 1년 중단시켰다"
"2020년 6월 25일"
"미국 국회의원들은 안면 인식을 연방 차원에서 사용하는 것을"
"금지하는 법안을 도입했다"
"알고리즘에 대한 미국의 연방 규제는 여전히 없다"
자막: 천민정